脑电图(EEG)是研究脑活动的关键工具。最近,利用大型未标记数据集的自我监督学习方法已成为潜在的解决方案,以解决广泛可用的脑电图数据。然而,当前的方法至少受到以下局限性之一:i)次优的脑电图信号建模,ii)数以亿个可训练的参数中的模型尺寸,以及iii)依赖Pri-Private数据集和/或不一致的公共基准标准,Hin-Dring Reproducuctibility。为了应对这些挑战,我们使用了一个新的小型脑电图基础模型(Cerebro)来介绍Br ain o恐怖的介绍(Cerebro)。我们的令牌化方案代表每通道斑块粒状的EEG信号。我们提出了一种交替的注意机制,该机制可以共同建模通道内的时间动力学和通道间空间相关性,与Stan-Dard自我注意力相比,以6×速度的记忆力更少,可实现2×速度的改进。我们提出了几个型号,从360万到8500万个参数不等。在超过20,000个小时的公开可用的头皮脑电图记录中,我们的模型在情感检测和癫痫发作检测任务中设定了新的基准,并具有在异常分类和步态预测方面具有竞争性表现。这验证了我们的模型的效率和效率。
主要关键词
![arxiv:2501.10885v2 [cs.lg] 2025年1月27日PDF文件第1页](/bimg/6/601d1f4d9ab7d96dc5fdfd352b968f1c27ec282c.webp)
![arxiv:2501.10885v2 [cs.lg] 2025年1月27日PDF文件第2页](/bimg/8/893fc290c1e2307b4deaaf6fefbb0a6e249bcfcc.webp)
![arxiv:2501.10885v2 [cs.lg] 2025年1月27日PDF文件第3页](/bimg/e/ec5e6538f7619962eb79278a94e04721edb1b320.webp)
![arxiv:2501.10885v2 [cs.lg] 2025年1月27日PDF文件第4页](/bimg/b/b1c325cdf5eaa276538f8fc47f15975e96282f65.webp)
![arxiv:2501.10885v2 [cs.lg] 2025年1月27日PDF文件第5页](/bimg/9/922d3df30014544a83bae566558842910211c9d9.webp)
